面向 Agentic 强化学习的 MoE 专家选择结构化
🧭 Agent RL · MoE 专家路由控制 ★ 深度解读
Apple · Purdue University
提出分层路由控制框架，用操作感知互信息与令牌级一致性约束，提升 Agentic RL 成功率与推理吞吐
📌 工作参考价值（3 点）
- MoE 专家选择可以用 agent 轨迹中的 operation 语义（READ/CREATE/UPDATE）做监督，电商搜索/推荐 agent 也可以按意图或工具类别进行专家对齐，提升长程任务成功率和推理速度。
- token 级一致性控制用“相邻 top-k 专家集 Jaccard 距离阈值”选择性回拉，比强制统一更稳定；可搬进多轮 search/agent rollout 中降低专家切换开销、提高吞吐。
- 添加辅助路由 loss 容易引发 RL 训练崩溃，可用 policy entropy 高低门控关闭路由梯度；这个工程 trick 对 MoE 后训练很实用。
循环 MoE 超越两轮的可扩展训练方案
🧭 循环 MoE 深度扩展与训练稳定化 ★ 深度解读
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences · Peng Cheng Laboratory · University of Chinese Academy of Sciences · The Hong Kong Polytechnic University · University of Surrey
LOOM 用残差缩放、输入重注入、逐循环路由与 Looping Residual 让 MoE LLM 稳定循环 9-12 轮并优于基线
📌 工作参考价值（4 点）
- 在生成式推荐或 Query 生成中若采用 Looped LLM / 共享层 MoE，可复用 γ=λ/(H√M) 的残差缩放和逐轮输入重注入，防止多轮迭代后表示漂移与训练发散，尤其适合反复生成候选 query 或语义 ID。
- 在 FLOPs 受限的在线推理中，建议共享专家但为每轮循环配置独立 router：只增加少量路由参数，就能避免专家选择坍缩，让每轮实际激活不同 expert，提升循环计算收益。
- Looping Residual 以固定衰减 EMA 仅存一个累加张量就能保留跨循环历史，适合在低延迟排序/召回中叠加多轮细化信号，显存开销可忽略。
- 训练深层循环模型时采用分段反向传播（每 K=3 循环为一段、段间 detach），峰值显存几乎不随循环数增长，训练更快更稳，值得 GPU/NPU 受限的业务复现。
MoE 强化学习中的专家空间探索方法 ESRL
🧭 MoE LLM 强化学习 · 专家路由空间探索 ★ 深度解读
Tsinghua University · Microsoft Research
通过扰动专家路由、锚定高置信专家并重放路径，在 MoE LLM 的 RL 训练中实现安全的架构级探索，提升推理性能
📌 工作参考价值（4 点）
- MoE 生成式推荐/Agent 策略训练可迁移：若用 MoE LLM 作为生成式推荐（如 Semantic ID 生成、query 改写）或 Agent 策略网络，在 RL/在线学习阶段可将 expert routing 作为额外探索维度，通过扰动 router logits 提升轨迹多样性，缓解策略收敛后 rollout 多样性下降、优势信号变弱的问题。
- 锚定专家采样控制探索质量：不要对全部专家加噪声，而是保留 top-K 中的高置信专家作为锚点，只从候选池中随机探索剩余专家；聚合权重仍使用原始 logits。这一 trick 能防止随机路由到不合适的专家导致生成质量崩塌，对搜索/推荐场景中的生成质量稳定性尤其重要。
- 路由重放（Rollout Routing Replay）保障 rollout 与训练一致：在在线学习或 RL 训练中，记录 rollout 时实际激活的专家路径，优化阶段绕过 Top-K 直接复用该路径，避免因重计算路由导致探索到的专家未参与梯度更新。该方法与业务中常见的 MoE 在线学习/增量训练场景直接兼容。
- 自适应噪声强度：根据 router 的归一化熵调整扰动幅度——低熵（分布尖锐）时加大噪声，高熵时减小噪声。相比固定噪声，能更平稳地探索，尤其适用于需要兼顾效果稳定性的电商/广告长尾 query 或 item 生成任务。